汇报内容：
最近看论文及资料：
[1]杨健伟. 面向人脸识别的人脸活体检测方法研究[D].北京邮电大学,2014.
[2]陆成学. 人脸认证应用中活体检测技术探讨[J]. 中国金融电脑,2017,(08):89-90.
[3]盘海玲. 人脸识别系统中活体检测技术[J]. 科技资讯
[4]孙霖. 人脸识别中的活体检测技术研究[D].浙江大学,2010.
[5]甘俊英,刘呈云,李山路. 多颜色空间中三正交平面的WLDLBP活体人脸检测算法[J]. 五邑大学学报(自然科学版),2017,31(02):14-19.
知乎—活体检测资料
活体检测定义：
活体检测技术是基于生物特征识别的人脸识别技术中用于鉴别识别对象是否为活体的重要技术手段，是防范照片、视频、模型等手段破解人脸识别系统的重要保障.
活体检测是用于辨别人脸的真伪，保证人脸识别系统稳定并安全的运行。
活体检测的功能就是辨别其是否为“真实的人脸”，识别假脸，防止他人因盗用他人照片等方式攻击人脸识别系统。
活体检测攻击方式
在活体检测中的假冒攻击一般分有
- 照片攻击;
- 视频攻击;
- 3D模型攻击;
- 通过人+照片处理，视频处理等衍生攻击手段。
注：这些攻击手段部分可以通过现有的人脸识别系统判别，但很多假冒的攻击方式仍不能处理。
存在不足之处
检测方式能识别一道两种不同的手段，综合性一般，检测方式用户体验性不同。
以现在的眨眼为例，能识别正常用户是活体，但是对真脸照片+背后动作无防范；
基于纹理的方法，一般对低质量的照片防范较好，高质量的平板成像等攻击防范较差。
*实例：*
以支付宝人脸登录系统为例进行活体检测功能进行测试，对正常的活体人脸可以正常识别，识别成功率也极高；同时对单纯的照片及无眨眼活动的视频，因无眨眼这一活体检测措施，活体检测未通过；但是对于有眨眼活动合法用户视频、合法用户照片加非合法用户眨眼等方式，活体检测依旧通过。
17年315晚会，人脸识别被曝存在隐患，主持人现场凭借两部手机及一个换脸APP,"攻破"人脸识别系统。
现在有的检测方法
基于微纹理方法：
依据：利用假人脸经过二次采集或多次采集呈现出于真人脸图片在纹理细节上的差异(如真实形状和局部高光的差异等)
方法：
(1)傅里叶频谱分析，人脸照片尺寸小于这是人脸尺寸，同时照片是平面的，其在频域中的高频分量比真人脸照片少；打印的照片再时间上不存在局部运动，其在频域上的变化在时域上很小；
傅里叶频谱分析理解：照片是平面的，所以照片的高频分量应该小于活体人脸成像，其次如果照片放置在相机前，因为脸部缺少表情变化，所以频率分量的标准差应该很小，活体检测人脸和普通照片在频域上的差异比较。即在很短的一段时间内局部表情等变化有幅度变化，而照片则没有
(2)考虑图像的空间信息，将频域特征转化为空域特征来分析，真人脸具有三维结构，假人脸(照片)是二维的；
(3)真人脸的表面粗糙度和照片的粗糙度不同，提取基于Lambertain反射模型的漫反射区分方法，对输入的图像进行平滑，通过高斯滤波提取图像的DoG特征；
(4)利用图像多尺度和多区域的LBP特征进行二元SVM分类的方法区分真伪；
性能描述：比较重要，但是容易受到光照、图像分辨率等的影响，在视频攻击的时候效果也较差。
基于运动信息
依据：从视频中提取人脸的特定的运动信息以判定真假人脸。
方法：(1)利用眨眼运动、嘴部运动，使用常规的动态规划算法完区分推理；
(2)通过人脸多个部件的时序运动信息来做帧间人脸的判定，人脸的中心区域要比周边的区域运动幅度更大，用光流法来估计；
邓刚等人提出眨眼检测活体，该方法将眼睛状态分为睁开和闭住连个状态，通过一个睁开和闭住眼睛的二类SVM分类器判断，训练样本是睁眼和闭住的眼睛。如果分类器输出结果为闭住的眼睛，那么系统为活体。(3)通过分析嘴唇的运动是否和阅读一段文本时的嘴型是否匹配来判断真伪。(需要有一种稳定的人脸及嘴部检测定位算法及用户的配合)
(4)通过结合视频和音频一起配合。
(5)基于光流+人脸点头或晃动，光流运动包含平移、旋转、移动、摆动四个基本类型，2D、3D物体在摆动上方面差异很大，所以根据摇头等摆动幅度较大的方式检测。
性能描述：这是目前现有移动端商用技术中应用最广的，大多采用随机指令进行交互；但是只要将合法用户的人脸图片的嘴部、眼部等需要验证的区域掏并在照片后作出相应的动作即可破解。该方法对用户的交互要求较高，而且欺骗成本较低。
基于多光谱
依据：基于皮肤和其它材质在光谱反射率上的差异判断真假人脸。基于多光谱成像的方法旨在从可见光波段之外找到更加有效的波段组合，使真人脸和伪造人脸呈现较大差异，从而进行判断区分。
方法描述：
(1)利用红外成像技术，选取两个波段结合可见光成像进行人脸伪装检测；
(2)使用850nm的近红外光，排除不可控的可见光，在活体检测同时进行人脸检测；
(3)选取多个波段用于人脸采集，并将数据投影到一个二维空间，使用线性判别分析(LDA)区分真伪。
性能描述:检测方法有效，但是对擦剂条件要求比较严格，而且呈现出的多光谱图像用户体验较差，成本高于可见光系统；基于三维成像恢复
依据：人脸具有三维结构，照片等则无，选取运动中的几帧图片，根据关键点、关键帧，恢复初始人脸结构，然后对人脸结构进行配准，如果是真人脸时，恢复出正常人脸，但是如果是照片时，犹豫在角度上差异等无法直接恢复，视频的话，也由于扁平的图像导致恢复的结构有问题；
基于静默活体检测
依据：在人脸活性检测的同时，面部会有微小的习惯性动作，如眼皮和眼球的律动、眨眼、嘴唇及其周边面颊的伸缩等进行甄别；
性能描述：在人面部无表情动作时检测效率低下，会受光线等其他因素的影响
备注：具体方法暂无，通过知乎寻找，在实际应用中，我司人脸识别设备似乎也用的是该种方法以南京某厂Android活体检测设备为例，疑似采用静默活体检测方式，在人脸无明显表情变化时，同样无法进行有效的人脸识别活动，经常会出现无法检测出人脸的状况。
基于多种特征融合
依据：将上述几种方法融合
方法描述：
(1)通过结合运动信息和纹理信息进行检测，因为纹理信息的方法无法处理高质量(高分辨率)的攻击，运动交互方法至少可以保证检测对象是活体;
(2)使用非刚体运动–>人脸–>背景一致性+图像条带效应，前背景一致性在伪造的人脸照片比较明显；
(3)融合运动相关分析和人脸纹理分析，提取LBP特征通过分数层融合进行最终辨别真伪。
性能描述：这类方法往往在机理上形成互补，检测率较高，但是平均处理时间较大，对硬件的要求较高。
补充：陆成学也提出两种方案：
提出两种扩展方式
- 基于可见光+近红外双目异质摄像头+眼周微纹理分析法
红外直接排除照片视频攻击，(照片和Pad在近红外下成像差甚至无法成像)；
眼周包含信息最丰富且辨识度最高，目前的人脸面具，重构时眼部微纹理不易构造。 - 基于眼纹区域的活体检测技术
眼纹：位于眼白区域，指人的眼睛中去除眼睛虹膜和瞳孔的区域，含大量纹理信息。
方案：被检测者先录制视频，借助图像增强技术，加强眼白的纹理信息。即获取图像并检测眼睛位置–>眼白分割–>增强眼白的问题信息–>检测眼白中感兴趣的角点–>在角点周围提取特征–>判断是否为活体
检测方法：由于图片和预先录制好的视频眼睛纹理信息不清晰，录制相差很多，可防止攻击，而且模型精确到这般精细又提升很大难度。
以后要做的方向
要做鲁棒性好的好体检测手段需要注意：
- 实时处理数据；
- 受光照、光线等外界影响小；
- 用户界面自然，交互少；
- 欺骗代价尽可能搞(不能简单的使用照片等攻击识别，哪怕是用模型也要用昂贵真实度高的来破解)；
- 在用户配合上尽可能容易；在设备上尽可能简单。
对此，在静默活体方面，现在正在找类似的论文看看，是基于人脸型变化的，感觉可能会更加符合实际检测情况。
存在优势：只要站在面前，就可以进行检测，用户简单，方便；
劣势：如果检测期间，无表情变化，则无反应；能监测照片、简易3d模型，对于视频，还有照片+人脸组合的状况未知。
补充
人脸活体检测数据库：
南京航空大学的NUAA数据库、Idiap的PRINT-ATTACK数据库、张洪科院自动化研究所的CASIA-FASD数据库、Idiap的新数据库REPLAY-ATTACK。
活体检测技术性能评估
度量攻击方法的安全性和活体检测的性能，需要合适的方法，常见的性能度量指标有错误拒绝率(False reject rate,FRR)、错误接受率(False accept rate,FAR)、等错误率(Error equal rate,EER)、获取错误率和平均处理时间等。
活体检测方法(L)指标：
- L错误拒绝率(LFRR)
- L错误接受率(LFAR)
- L获取错误率(Failure to acquire)
- L平均处理时间(Mean transaction time)
活体检测系统(S)评估的总指标
- S错误拒绝率(SFRR)
- S错误接收率(SFAR)
- S错误获取率(Failure to acquire)
- S平均处理时间(Mean transaction time)